Hermite sinh ra ở Dieuze, Moselle ngày 24 tháng 12 năm 1822, [1] với một dị tật ở chân phải gây ảnh hưởng đến dáng đi của ông trong suốt cuộc đời. Ông là con thứ 6 trong số 7 người con của Ferdinand Hermite, và vợ ông Madeleine Lallemand. Cha ông làm trong doanh nghiệp bán vải của gia đình mẹ ông, và đồng thời cũng là một nghệ sĩ. Doanh nghiệp bán vải chuyển đi Nancy năm 1828 và gia đình ông cũng đi theo.[2]

Ông học tại Collège de Nancy và sau đó, ở Paris, tại Collège Henri IV và Lycée Louis-le-Grand.[1] Hermite muốn học ở École Polytechnique và ông giành 1 năm chuẩn bị cho kì thi và được dạy kèm bởi Catalan từ 1841 đến 1842.[2]

Năm 1842 Hermite nhập học École Polytechnique, và học ở đây 1 năm.[1] Hermite bị cho thôi học ở École Polytechnique vì dị tật của mình (École Polytechnique cho tới nay vẫn là một học viện quân sự). Ông đấu tranh để được tiếp tục học và đã được chấp nhận nhưng với nhiều điều kiện ràng buộc khắt khe. Hermite cảm thấy những điều kiện này không thể chấp nhận được và quyết định rời École Polytechnique khi chưa tốt nghiệp.[2]

Khi còn nhỏ, ông đọc sách của Joseph Louis Lagrange về lời giải cho các phương trình số, và của Carl Friedrich Gauss về lý thuyết số. Năm 1842, trong công trình toán học đầu tiên, ông đưa ra một chứng minh đơn giản cho kết quả của Niels Abel về việc không tồn tại lời giải tổng quát bằng căn thức cho phương trình bậc năm. Công trình này được xuất bản trong "Nouvelles Annales de Mathématiques".[1]